Ông tên thật là Trương Kháng, sinh năm 1914 tại xã Hòa Phong, huyện Tuy Hòa, tỉnh Phú Yên. Ông nội là Trương Chính Đường, người sáng lập Hội Văn Phố Phú Yên và từng tham gia Phong trào Cần Vương. Cha là ông Trương Bội Hoàng còn có tên khác là Trương Bội Công; mẹ là bà Nguyễn Thị Miêng. Ông là con đầu trong một gia đình có 10 người con, vì vậy, về sau khi ông lấy bí danh là Phương, ông còn được gọi là Anh Cả hay Anh Cả Phương. Ông có một người em trai tên là Trương Văn Nguyên. Ông có một người em gái tên là Trương Thị Minh Thư (tháng 11/2016 còn sống).